Как знают администраторы виртуальных сред и некоторые разработчики, на многих платформах виртуализации существует возможность запуска виртуальных машин в виртуальных машинах с установленным в них гипервизором - так называемая "вложенная виртуализация" (Nested Virtualization). Например, такие возможности есть в VMware vSphere (что позволяет запускать не только свой вложенный гипервизор ESXi, но машины на вложенном гипервизоре Hyper-V).

Компания Ravello нашла интересный способ использовать вложенную виртуализацию в своем продукте Cloud Application Hypervisor, который позволяет универсализовать развертывание ВМ разных платформ виртуализации в публичных облаках различных сервис провайдеров.

Основным компонентом этой системы является технология HVX - собственный гипервизор (на базе Xen), являющийся частью ОС Linux и запускающий вложенные виртуальные машины без их изменения средствами техник бинарной трансляции. Далее эти машины можно разместить в облаках Amazon EC2, HP Cloud, Rackspace и даже частных облаках, управляемых VMware vCloud Director (поддержка последнего ожидается в скором времени).

Продукт Ravello - это SaaS-сервис, а такие матрешки можно просто загружать на любой из поддерживаемых хостингов, вне зависимости от используемого им гипервизора. Виртуальная сеть между машинами создается через L2-оверлей над существующей L3-инфраструктурой хостера с использованием GRE-подобного протокола (только на базе UDP):

Сама механика предлагаемого сервиса Cloud Application Hypervisor такова:

• Пользователь загружает виртуальные машины в облако (поддерживаются машины, созданные на платформах ESXi/KVM/Xen).
• С помощью специального GUI или средствами API описывает многомашинные приложения.
• Публикует свои ВМ в одном или нескольких поддерживаемых облаках.
• Получившаяся конфигурация сохраняется в виде снапшота в облаке Ravello (потом в случае чего ее можно восстановить или выгрузить) - это хранилище может быть создано как на базе облачных хранилищ Amazon S3, CloudFiles, так и на базе собственных блочных хранилищ или NFS-томов.
• После этого каждый пользователь может получить многомашинную конфигурацию своего приложения по требованию.

Очевидный вопрос, который возникает первым: что с производительностью? Ну, во-первых, решение Cloud Application Hypervisor рассчитано на команды разработки и тестирования, для которых производительность не является критичным фактором.

А во-вторых, результаты тестов производительности таких вложенных матрешек показывают не такие уж и плохие результаты:

Для тех, кто заинтересовался технологией HVX, есть хорошее обзорное видео на рунглише:

Больше подробностей о продукте Cloud Application Hypervisor и технологии HVX можно узнать из этого документа.

Как вы знаете, в августе нас ждет главное событие года в сфере виртуализации - конференция VMware VMworld 2013, где будет сделано пара интересных анонсов и будут выпущены новые продукты компании VMware. Уже сейчас стало известно несколько важных моментов, касающихся повышения цен и комплектации продуктов.

Итак, что будет происходить в сентябре этого года:

• С 19 сентября 2013 произойдет повышение цен на следующие продукты:

- vCenter Operations 5.6 Management Suite Advanced
- vCenter Operations 5.6 Management Suite Enterprise 

• С 19  сентября 2013 прекращаются продажи лицензий vCloud Director - теперь он будет продаваться только в составе комплекта vCloud Suite 
• С 30 сентября 2013 прекращаются продажи лицензий vCloud Networking and Security - теперь он будет продаваться только в составе комплекта vCloud Suite 

• С 19 сентября 2013 изменятся партномера, а также повысятся цены на лицензии, апгрейды и техподдержку для пакета VMware vSphere 5 Essentials Plus Kit for 3hosts.

Будет два варианта комплектации Essentials Plus Kit:

- VMware vSphere 5 Essentials Plus Kit for 3 hosts  - стандартный набор из лицензий на три 2-процессорных хоста ESXi, но теперь без vSphere Storage Appliance (VSA) в своем составе.
- VMware vSphere 5 Essentials Plus Kit with VSA - это vSphere 5 Essentials Plus Kit с включенным в состав компонентом vSphere Storage Appliance.

И да - для них станет доступна скидка по программе VPP.

• С 19 сентября 2013 изменятся партномера у лицензий, апгрейдов и техподдержки на продукты семейства VMware vSphere with Operations Management. Цены останутся прежними.

Это коснется следующих продуктов:

- VMware vSphere with Operations Management Standard for 1 processor
- VMware vSphere with Operations Management Enterprise for 1 processor
- VMware vSphere with Operations Management Enterprise Plus for 1 processor

Большинству администраторов VMware vSphere известно, что у виртуальной машины могут быть виртуальные сетевые адаптеры различных типов, которые выбираются как в зависимости от гостевой ОС, так и от настроек пользователя, которые можно прописать в vmx-файле конфигурации ВМ.

На эту тему компания VMware выпустила вот такое видео:

Опишем типы сетевых адаптеров (vNIC) для виртуальной машины (ранее мы писали о них тут):

• Vlance - этот адаптер эмулирует реально существующий старый адаптер AMD 79C970 PCnet32- LANCE NIC, он работает на скорости 10 Mbps, и для него есть драйверы в большинстве 32-битных ОС, за исключением Windows Vista и более поздних версий. Виртуальная машина с таким адаптером может сразу использовать сеть.
• VMXNET - такой адаптер уже не имеет физического воплощения, то есть он полностью виртуальный. Он оптимизирован с точки зрения производительности ВМ. Поскольку он виртуальный - ОС не может его использовать, пока не установлены драйверы, идущие в комплекте с VMware Tools.
  
• Flexible - это по-сути не адаптер, а способ его представления. Он ведет себя как Vlance при загрузке ВМ, но потом превращается (или нет - в зависимости от VMware Tools) в VMXNET.
• E1000 - это эмулируемая сетевая карта Intel 82545EM Gigabit Ethernet NIC. Драйвер для этого адаптера есть не во всех гостевых операционных системах. Обычно Linux с версиями ядра 2.4.19 или более поздними, Windows XP Professional x64 Edition и позднее, а также Windows Server 2003 (32-bit) и позднее включают в себя драйвер для этого устройства. Производительность его достаточно неплоха. Драйвер адаптера E1000 не поддерживает большие кадры jumbo frames до версии VMware ESXi/ESX 4.1.
• E1000e - этот адаптер эмулирует более продвинутую модель Intel Gigabit NIC (number 82574) в виртуальном аппаратном обеспечении (virtual hardware) виртуальной машины. Адаптер e1000e доступен только для virtual hardware версии 8 (и старше), начиная с VMware vSphere 5. Это дефолтный адаптер для Windows 8 и более новых гостевых ОС. Для гостевых ОС Linux e1000e не доступен для выбора из интерфейса (e1000, flexible, vmxnet, enhanced vmxnet и vmxnet3 - доступны для Linux).
• VMXNET 2 (Enhanced) - адаптер VMXNET 2 основан на устройстве VMXNET, но предоставляет несколько функций с улучшенной производительностью, таких как jumbo frames и hardware offloads (например, TCP Segmentation Offloading, TSO). Этот адаптер доступен только для хостов VMware ESX/ESXi 3.5 или выше. Устройство VMXNET 2 поддерживается только для следующих гостевых операционных систем:
  • 32- и 64-битные версии Microsoft Windows 2003 (Enterprise и Datacenter Edition). Можно использовать адаптер VMXNET 2 и на Microsoft Windows 2003, однако нужно прочитать статью в KB 1007195 (http://kb.vmware.com/kb/1007195  ).
  • 32-битная версия Microsoft Windows XP Professional
  • 32- и 64-битные версии Red Hat Enterprise Linux 5.0
  • 32- и 64-битные версии SUSE Linux Enterprise Server 10
  • 64-битные версии Red Hat Enterprise Linux 4.0
  • 64-битные версии Ubuntu Linux
  
  Кроме того, если такой адаптер недоступен для выбора в Windows 2003, то нужно почитать статью Enabling enhanced vmxnet adapters for Microsoft Windows Server 2003 (1007195).
  
  В ESX 3.5 Update 4 или более поздних версиях платформы следующие гостевые ОС также поддерживаются для этого адаптера:
  
  
  • Microsoft Windows Server 2003, Standard Edition (32-bit)
  • Microsoft Windows Server 2003, Standard Edition (64-bit)
  • Microsoft Windows Server 2003, Web Edition
  • Microsoft Windows Small Business Server 2003
  
  Jumbo frames также не поддерживаются для гостевых ОС Solaris с адаптером VMXNET 2.
  
  
• VMXNET 3 - это следующее поколение виртуальных сетевых карт, которое теперь паравиртуализовано. То есть часть того, что раньше полностью эмулиировалось, теперь передается напрямую в физическое устройство. Этот адаптер не является надстройкой над VMXNET или VMXNET 2, но включает в себя все доступные для них возможности. Например, к ним относятся: поддержка механизмов нескольких очередей (multiqueue - также известны как Receive Side Scaling в Windows), IPv6 offloads, а также прерывания MSI/MSI-X (подробнее - тут).
  VMXNET 3 поддерживается только для виртуальных машин с виртуальным аппаратным обеспечением уровня 7 или более поздним, при этом только для следующих гостевых систем:
  • 32- и 64-битные версии Microsoft Windows XP и более поздние (включая Windows 7, 2003, 2003 R2, 2008, 2008 R2 и Server 2012)
  • 32- и 64-битные версии Red Hat Enterprise Linux 5.0 и более поздние
  • 32- и 64-битные версии SUSE Linux Enterprise Server 10 и более поздние
  • 32- и 64-битные версии Asianux 3 и более поздние
  • 32- и 64-битные версии Debian 4/Ubuntu и более поздние
  • 32- и 64-битные версии Sun Solaris 10 U4 и более поздние
  
  Заметки:
  
  • В ESXi/ESX 4.1 и более ранних версиях jumbo frames не поддерживаются для гостевых ОС Solaris для адаптеров VMXNET 2 и VMXNET 3. Эта возможность поддерживается, начиная с ESXi 5.0 только для адаптеров VMXNET 3. Более подробно можно почитать в статье Enabling Jumbo Frames on the Solaris guest operating system (2012445).
    
  • Технология Fault Tolerance не поддерживается для ВМ с адаптером VMXNET 3 в vSphere 4.0, но поддерживается в vSphere 4.1 и более поздних версиях.
  • Windows Server 2012 поддерживается для адаптеров e1000, e1000e и VMXNET 3 на платформе ESXi 5.0 Update 1 и более поздни

О производительности устройства VMXNET3 можно почитать в документе "Performance Evaluation of VMXNET3 Virtual Network Device".

Для того, чтобы использовать тот или иной тип виртуального сетевого адаптера для виртуальной машины, необходимо выставить его при добавлении к виртуальной машине при создании или редактировании свойств.

Также vNIC можно добавить с помощью добавления строчек в конфигурационный vmx-файл виртуальной машины:

• Для адаптера типа Flexible ничего добавлять не требуется.
• Ethernet[X].virtualDev = "e1000" - для добавления сетевого адаптера E1000.
• Ethernet[X].virtualDev = "vmxnet" - для добавления адаптера VMXNET 2 (Enhanced).
• Ethernet[X].virtualDev = "vmxnet3" - для добавления адаптера VMXNET3.

Вместо [X] необходимо подставить номер виртуального сетевого адаптера, начиная с 0.

Новость уже несвежая, но поскольку мы все-таки стараемся следить за новостями на перекрестке ИБ и виртуализации, то об этом надо бы обязательно упомянуть, да и вдруг кто не знает. Еще в июне 2013 года продукты VMware vSphere 5.1 и VMware View 5.1 прошли сертификацию ФСТЭК.

Компания «Сертифицированные информационные системы», получила сертификат Федеральной службы по техническому и экспортному контролю (ФСТЭК России) на программное обеспечение для виртуализации центра обработки данных — VMware vSphere 5.1 и программное обеспечение для виртуализации рабочих мест – VMware View 5.1. Российским заказчикам стали доступны преимущества использования сертифицированных версий решений для организации и управления виртуальной инфраструктурой.

Сертификат соответствия ФСТЭК России № 2900 от 13 июня 2013 года удостоверяет, что программный комплекс VMware vSphere 5.1, в редакции «Standard», «Enterprise», «Enterprise Plus», «VMware View 5.1» в редакциях «Premier», «Enterprise», разработанный компанией VMware и производимый ООО «Сертифицированные информационные системы», является программным средством общего назначения со встроенными средствами защиты от несанкционированного доступа к информации, не содержащей сведений, составляющих государственную тайну.

Смущает тут одно - "Программный комплекс VMware vSphere 5.1...производимый ООО «Сертифицированные информационные системы»". Это что еще такое? Я почему-то думал, что VMware vSphere производит сама компания VMware :) Ну да ладно.

Полученный решениями vSphere и View сертификат ФСТЭК позволяет использовать VMware vSphere 5.1 и VMware View 5.1 в информационных системах для обеспечения 4-го уровня защищенности ПДн и 3-го уровня при использовании дополнительных средств в ИСПДн-С, ИСПДн-Б, ИСПДн-О, ИСПДн-И с актуальными угрозами 3-го типа. При использовании сертифицированных СЗИ от партнеров VMware ПО виртуализации можно использовать в АС с более высокими требованиями к защите информации.

Относительно получения сертификата просьба обращаться к VMware:

Мурашов Максим
консультант по решениям
mmurashov@vmware.com
+7 495 212 2950

P.S. Те из вас, кто сертификат уже получил - киньте, пожалуйста, линк в каменты.

Еще в 2010 году мы писали о продукте VMware vCenter Configuration Manager 5.3 (не путать с vCenter Operations Manager), который позволяет управлять конфигурациями виртуальной среды на базе политик (проверка соответствия), а также обновлять различные сервисы в ИТ-инфраструктуре крупного предприятия. Этот продукт может быть интегрирован с пакетом vCenter Operations Manager Suite, а по своей сути напоминает майкрософтовский System Center Configuration Manager (SCCM).

Примеры проверки соответствия политикам в инфраструктуре предприятия с помощью VMware vCCM:

На днях вышла версия VMware vCenter Configuration Manager 5.7, которая, оказывается, продвинулась с 2010 года всего на 0.4 версии, что говорит о том, что VMware не уделяет большого внимания этому продукту.

Новые возможности vCenter Configuration Manager 5.7:

1. Enhanced OS Patching - улучшенные механизмы наката обновлений на гостевые ОС.

Что нового в этой категории:

• Dynamic Templates - теперь в шаблон обследования можно автоматически включать новые бюллетени обновлений, то есть не приходится их теперь добавлять в шаблоны руками.
• Automatic Patch Deployment - теперь можно задавать параметры автоматического накатывания обновлений, включая триггер по наступлению события, а также обновление по времени.
• Patching Exceptions - для патчей можно задавать, исключения, позволяющие, например, не накатывать определенную версию патча для некоторых систем, в которых существуют проблемы совместимости.
• Improved Linux/Unix Patching - улучшения, связанные с обновлением *nix-систем.

2. Simplified Install and Setup - упрощенная установка.

Теперь процесс установки и настройки vCenter Configuration Manager стал простым и быстрым. На эту тему даже сняли видео:

По сути, поставить продукт теперь можно методом Next-next-next.

3. Enhanced vSphere Support - улучшенная поддержка платформы виртуализации VMware vSphere.

Тут появились 3 основных улучшения:

• Performance Improvements - теперь до 87% сократилось время сбора данных с хостов VMware vSphere.
• Granular Control Over Data Collections - теперь очень детально можно указывать, какие именно данные нужно собирать с инфраструкутры VMware vSphere.
• New Report – появился отчет Virtual Environments Virtual Devices Details.

4. Platform Enhancements - улучшения самого продукта.

• Improved Self-Diagnostics - теперь в разделе "Администрирование" есть возможность в отдельном интерфейсе просмотреть состояние самой системы vCCM.
• New Look and Feel - теперь интерфейс больше походит на VMware vSphere и vCenter Operations Manager.
• Поддержка SQL Server 2012.

Напоследок небольшое видео об интеграции vCCM с продуктом vCenter Operations Manager:

Скачать продукт VMware vCenter Configuration Manager 5.7 просто так нельзя. Для запроса пробной версии нужно связываться напрямую с VMware.

Мы уже давно пишем о решениях StarWind, которые позволяют создавать отказоустойчивые хранилища для виртуальных машин на платформах VMware vSphere и Microsoft Hyper-V. Хранилища, построенные на базе технологии StarWind iSCSI, не требуют дополнительных инвестиций в инфраструктуру сети хранения, работают на базе проверенного протокола iSCSI и имеют функции отказоустойчивости на базе двух или трехузловых кластеров.

Между тем, далеко не все знают, что решения StarWind можно использовать и для других платформ виртуализации, в частности, Citrix XenServer. Тем более, что если под платформы VMware и Microsoft есть конкурирующие решения, то для платформы XenServer программных хранилищ с функциями высокой доступности - очень мало. Поэтому пользователям XenServer весьма полезно будет почитать документ "StarWind iSCSI SAN & NAS: Providing HA Shared Storage for XenServer", где рассказывается о развертывании двухузлового кластера хранилищ для виртуальных машин.

Документ свежий - от июня этого года.

Кстати, забыл тут про одну вещь. Не все администраторы VMware vSphere знают, что для того, чтобы зайти в черно-серое меню сервера VMware ESXi вовсе не обязательно использовать доступ через встроенную консоль типа HP iLO. Имеется в виду вот это меню настройки сервера (аналогично DCUI - Direct Console User Interface):

Все можно сделать прямо из SSH-сессии, если вы работаете под пользователем, имеющим локальную роль Administrator. Нужно просто выполнить команду:

# dcui

И вуаля - можно настраивать сервер без всяких iLO:

Само собой, это не работает в Lockdown mode, так как оно запрещает использование всех внешних интерфейсов, за исключением VMware vCenter Server (однако непосредственно в физическую консоль администратору залогиниться в этом режиме, конечно, можно).

Оказывается, одна британская компания выпускает интересное устройство под названием Raspberry Pi, представляющее собой маленький и немощный компьютер на базе процессора ARM11, предназначенный для выполнения небольших задач. Например, с его помощью можно детям учиться программированию или играть в какие-нибудь мини-игрушки.

Позиционируется данный девайс как "credit-card sized computer" и выглядит он вот так:

Эта штучка имеет на борту 256 или 512 МБ оперативной памяти, обычный и графический процессоры (CPU и GPU), а также необходимые интерфейсы для подключения устройств ввода-вывода (среди них HDMI и 1 или 2 USB-порта) и порт для Ethernet:

Стоит эта штучка в базовой комплектации $25 (Model A - 1 USB-порт и 256 МБ RAM) и $35 за модель постарше (Model B - 2 USB-порта и 512 МБ RAM) - без учета источника питания и preloaded SD-карты. В общем, интересный гаджет.

Недавно компания Xtravirt (мы много о ней в свое время писали) выпустила приложение Advantage vPi, представляющее собой образ с набором утилит для управления виртуальной инфраструктурой VMware vSphere. Туда входит VMware View Open Client, ESXCLI 5.1, vSphere Perl SDK, Ruby vSphere console, набор скриптов vGhetto, vmkfstools и многое другое. В приложении реализована полноценная многозадачность, решение является полностью Open Source продуктом и поставляется в виде образа для Raspberry Pi.

Тулбокс Xtravirt Advantage vPi можно использовать стильным администраторам, которые хотят всегда иметь с собой средство управления виртуальной инфраструктурой VMware vSphere.

Скачать образ Advantage vPi можно по этой ссылке.

Это гостевой пост компании ИТ-ГРАД - ведущего сервис-провайдера, предоставляющего услуги аренды виртуальных машин.

Для подавляющего большинства компаний наличие двух или более собственных площадок все еще остается непозволительной роскошью. И что же делать с обеспечением непрерывности оказания ИТ-сервисов в такой ситуации? Вывод очевиден: если по каким-то причинам нет возможности использовать публичное облако в качестве основной площадки - его можно использовать в качестве резервной!

С развитием облачных технологий все большее количество заказчиков готовы отказаться от собственной инфраструктуры в пользу высокодоступных сервисов по размещению виртуальных машин в публичном облаке.

Однако остаются ситуации, обусловленные спецификой деятельности компании, наличием уже осуществленных проектов по построению приватного облака, специфическими требованиями по производительности, безопасности и т.п., которые, возможно, временны, но не дают возможности воспользоваться публичным облаком для хостинга своих ИТ-сервисов.

• Возможно ли разместить резервную площадку в публичном облаке?
• С какими трудностями придется столкнуться при реализации проекта?
• И, в конце концов, сколько это будет стоить?

Такие вопросы все чаще возникают как на просторах сети, так и у потенциальных потребителей наших облачных услуг.

Читать дальше

Наше сотрудничество со спонсором ресурса Rentacloud.su продолжается. Напомним, что компания Rentacloud - надежный облачный провайдер, предоставляющий услуги IaaS-хостинга виртуальных машин на платформах VMware vSphere и Microsoft Hyper-V.

Инфраструктура, предоставляющая сервисы виртуальных машин в аренду, имеет следующие компоненты:

• Платформа VMware vSphere 5.1
• Платформа Microsoft Windows Server 2012 Hyper-V
• Сетевое оборудование Juniper Networks
• Серверы Dell и HP
• Системы хранения данных NetApp
• ЦОДы в Москве и Амстердаме

Дата-центр Rentacloud.su расположен в Голландии и является одной из наиболее известных и надежных площадок для размещения облачных аппаратных кластеров. Все услуги, доступные пользователям в России, будут также доступны применительно к европейскому сегменту облака. Сценарии использования европейской площадки весьма универсальны. Компании-операторы высоконагруженных сайтов, доступных в версиях для англоязычных пользователей, могут использовать услуги Rentacloud.su для разделения нагрузки между российским и европейским сегментом облака. Запросы из России будут автоматически отправляться на российский сегмент, а европейские – на европейский. При этом значительно снизится задержка доступа к данным, что особенно критично для интерактивных веб-сервисов и индустрии онлайн-развлечений, переживающих активный рост.

Цены на аренду виртуальных машин VMware и Microsoft просты и понятны:

Кроме того, Rentacloud предоставляет услуги по защите персональных данных на своей облачной платформе. Возможна защита разнообразных систем в полном соответствии требованиям Закона 152-ФЗ, защита персональных данных путем размещения клиентской инфраструктуры в защищенном сертифицированном контуре в облаке. Клиентам обязательно выдается шаблонный административный правовой документ, в котором детально прописаны все действия клиента во время работы с персональными данными в компании.

Rentacloud предоставляет всем желающим 7 дней бесплатного теста для ознакомления с преимуществами облачных технологий.

У некоторых виртуальных машин на платформе VMware vSphere может оказаться такая ситуация, что на одном виртуальном диске VMDK окажутся 2 логических раздела - например, диски C и D в Windows. Произойти это может вследствие P2V-миграции физического сервера в ВМ или изначальной конфигурации машины.

При этом, для каких-то целей вам может потребоваться эти логические диски разнести по двум файлам VMDK (например, для целей хранения дисков на разных "ярусах" хранения). Решить эту проблему весьма просто с помощью VMware vCenter Converter (мы писали о нем тут).

Делается так это все так:

• Начинаем процесс конвертации виртуальной машины
• Идем в мастере конверсии в Options
• Для раздела "Data to copy" выбираем "Edit"
• Выбираем опцию "Data copy type" и меняем ее на "Select volumes to copy".
• Далее на вкладке "Target Layout" в представлении "Advanced" настраиваем разнесение логических дисков по разным vmdk, как на картинке ниже.

Источник.

Как многие из вас знают, мы своевременно обновляем посты про диаграммы портов и соединений различных компонентов VMware vSphere и других продуктов компании. Об этом можно почитать, например, тут, тут и тут.

Недавно вышло очередное обновление схемы портов VMware vSphere 5.1. Схема уже является официальной и приведена в KB 2054806.

Приятно также и то, что теперь в этом же документе в виде таблицы приведены все порты различных компонентов VMware vSphere 5.x и назначение соединений:

Некоторое время назад мы публиковали ссылку на документ "StarWind iSCSI SAN & NAS: Configuring 3-node HA Shared Storage for vSphere", описывающий настройку целевой архитектуры трехузлового кластера хранилищ StarWind iSCSI SAN для платформы VMware vSphere.

Оказывается, подобный документ есть и для платформы Hyper-V на основе Windows Server 2012: "StarWind iSCSI SAN & NAS: Configuring 3-Node HA Storage for Live Migration on Windows Server 2012" (для продукта StarWind Native SAN for Hyper-V).

В документе простым и доступным техническим языком рассказывается о том, как по шагам развернуть трехузловой кластер хранилищ и начать использовать его для размещения виртуальных машин Microsoft Hyper-V, естественно, с поддержкой Live Migration и всех прочих технологий динамического управления ресурсами от Microsoft.

P.S. Теперь документы StarWind можно скачивать без регистрации.

Некоторое время назад компания VMware инициировала Project Serengeti, целью которого было обеспечение возможности запуска кластеров Apache Hadoop на виртуальной платформе (в частности, VMware vSphere). Это одна из первых серьезных инициатив VMware в сегменте Big Data.

Совсем недавно была выпущена бета-версия расширений VMware vSphere Big Data Extensions v1.0 Beta, которые позволяют применить все наработки Serengeti для создания виртуальных машин с Hadoop на борту. Эти расширения обеспечивают жизненный цикл Hadoop на платформе VMware vSphere и позволяют отслеживать потребляемые ими ресурсы.

Возможности VMware vSphere Big Data Extensions v1.0 Beta:

• Графический интерфейс Big Data Extensions. Он позволяет создавать, масштабировать и удалять кластеры Hadoop. Кроме того, доступен отдельный мониторинг и контроль ресурсов этих виртуальных машин.
• Поддержка большинства дистрибутивов Hadoop.
• Автоматическая "эластичность кластеров" (возможность автоматического наращивания ресурсов).
• Возможность динамического изменения ресурсов, выделенных запущенным кластерам Hadoop.
• Возможность Disk Failure Recovery.
• Возможность создания ВМ Hadoop с кастомной конфигурацией CentOS.
• Поддержка vSphere Standard Edition на время Technology Preview (дальше будут поддерживаться только более высокие издания vSphere).

Немного документации:

• vSphere Big Data Extensions Administrator's and User's Guide
• vSphere Big Data Extensions Command-line Interface Guide
• Benefits of Virtualizing Hadoop
• Hadoop Performance on vSphere
• Serengeti User Guide
• Hadoop High Availability Solution on VMware vSphere (with Hortonworks)
• Protecting Hadoop with VMware vSphere 5 Fault Tolerance
• White Paper: Hadoop Virtualization Extensions

В целом, VMware заявляет, что Apache Hadoop исполняется в виртуальных машинах практически без потерь производительности (об этом можно почитать здесь):

Скачать VMware vSphere Big Data Extensions v1.0 Beta можно по этой ссылке.

Мы часто пишем заметки о безопасности виртуальной инфраструктуры VMware vSphere и других продуктов на данной платформе (их можно найти по тэгу Security). И вот на днях я натолкнулся на интересную статью "It’s a Unix system, I know this!", в которой есть одна умная мысль, касающаяся настройки безопасности, и которую я часто пытаюсь донести до заказчиков. А именно: некорректное планирование и исполнение процедур по обеспечению безопасности может привести к еще большим проблемам как с точки зрения конфигурации виртуальной среды, так и с точки зрения самой безопасности.

Итак, обратимся к статье. Есть такая организация в штатах Defense Information Systems Agency (DISA), которая выпускает документ Security Technical Implementation Guide (STIG), являющийся руководящим документом по обеспечению безопасности для правительственных организаций. Есть подозрение, что в части виртуальных машин он сделан на основе VMware vSphere Security Hardening, однако не из самой актуальной версии последнего.

Так вот в этом DISA STIG есть пункты, касающиеся виртуальных машин, например, пункт про отключение операций Copy/Paste с гостевой ОС виртуальной машины из ОС компьютера, где выполняется vSphere Client.

Посмотрим, как рекомендуется выполнить эту процедуру:

To edit a powered-down virtual machine’s .vmx file, first remove it from vCenter Server’s inventory. Manual additions to the .vmx file from ESXi will be overwritten by any registered entries stored in the vCenter Server database. Make a backup copy of the .vmx file. If the edit breaks the virtual machine, it can be rolled back to the original version of the file.

1. Open the vSphere/VMware Infrastructure (VI) Client and log in with appropriate credentials. If connecting to vCenter Server, click on the desired host. Click the Configuration tab. Click Storage. Right-click on the appropriate datastore and click Browse Datastore. Navigate to the folder named after the virtual machine, and locate the <virtual machine>.vmx file. Right-click the .vmx file and click Remove from inventory.

2. Temporarily disable Lockdown Mode and enable the ESXi Shell via the vSphere Client.

3. Open the vSphere/VMware Infrastructure (VI) Client and log in with appropriate credentials. If connecting to vCenter Server, click on the desired host. Click the Configuration tab. Click Software, Security Profile, Services, Properties, ESXi Shell, and Options, respectively. Start the ESXi Shell service, where/as required.

4. As root, log in to the ESXi host and locate the VM’s vmx file.

# find / | grep vmx

Add the following to the VM’s vmx file.
keyword = “keyval”

Where:
keyword = isolation.tools.copy.disable
keyval = TRUE

5. Re-enable Lockdown Mode on the host.

6. Re-register the VM with the vCenter Server:

Open the vSphere/VMware Infrastructure (VI) Client and log in with appropriate credentials.
If connecting to vCenter Server, click on the desired host.
Click the Configuration tab.
Click Storage.
Right-click on the appropriate datastore and click Browse Datastore.
Navigate to the folder named after the virtual machine, and locate the <virtual machine>.vmx file.
Right-click the .vmx file and click Add to inventory. The Add to Inventory wizard opens.
Continue to follow the wizard to add the virtual machine.

Круто, да? Это все для того, чтобы просто отключить копирование из консоли ВМ (для одной машины), которое если уж кому-то очень сильно понадобится - он сделает все равно через принтскрин или еще как.

А теперь подумаем, к чему это все может привести:

• В процессе такой настройки администратор может что-то испортить.
• Сотни виртуальных машин обработать таким способом очень долго и нудно.
• Такая процедура открывает больше дырок, чем закрывает (администратор снимает Lockdown хоста, делает операции в шеле и тыркается по вицентру).
• Контролировать исполнение процесса очень сложно - все ли локдауны были закрыты, по всем машинам ли мы прошлись и т.п.

Конечно же, есть простой и элегантный способ сделать все это сразу для всех ВМ и с помощью PowerCLI через методы, описанные в пунктах vm.disable-console-copy и vm.disable-console-paste документа vSphere Hardening Guide.

Однако те из вас, у кого в компании есть отдел информационной безопасности, знают что такое формализм этих ребят, которые может в виртуализации и не разбираются, зато прекрасно понимают, что приведенный выше гайд несколько отличается от двух строчек на PowerShell.

И, хотя это в основном касается западных организаций, в отечественных крупных компаниях тоже возникают проблемы из-за подобных процедур.

Так вот какова мораль сей басни:

• При разработке руководящих документов по обеспечению безопасности виртуальной инфраструктуры поймите, какие требования являются обязательными, а какие можно реализовать факультативно (то есть не реализовывать вовсе). Минимизируйте число обязательных требований и по мере необходимости расширяйте.
• Используйте последние версии руководящих документов по ИБ от вендоров и всегда обновляйте свои собственные (хотя бы с выходом мажорной версии продукта).
• Максимально применяйте автоматизацию при выполнении процедур по конфигурации безопасности. В VMware vSphere и других продуктах VMware можно автоматизировать практически все.
• Если выполнение требования к ИБ виртуальной среды потенциально может открыть еще больше дырок, вызвать ошибки конфигурации и причинить еще беды, подумайте - а может стоит отказаться от этого требования или переформулировать его?

Ну а если кратко - с головой надо подходить, а формализм отставить. Больше интересных подробностей - в статье.

Для всех пользователей StarWind!

Уже подходит к концу программа "Customer Loyalty Upgrade Program", которая позволяет клиентам StarWind iSCSI SAN (для VMware vSphere) или Native SAN (для Microsoft Hyper-V) произвести обновления своих продуктов на более старшие версии со скидкой до 35%. Предложение действует только до конца июня, поэтому поторопитесь с заказом.

Напомним, что StarWind - это средство номер 1 для создания отказоустойчивых хранилищ iSCSI для виртуальных машин.

Вот условия обновления для тех, кто уже использует продукты StarWind:

• 15% скидка - для обновления на издание на одну ступень вверх (например, с 1TB до 2TB или с 4TB до 8TB).
• 25% скидка – для обновления на издание на две ступени вверх (например, с 1TB до 4TB).
• 35% discount – для обновления на издание на три или более ступени вверх (например, с 1TB до 16TB).

Торопитесь и заказывайте обновление StarWind со скидкой.

Продолжаем знакомить вас с багами VMware vSphere 5.1 - ведущей платформы виртуализации. На этот раз мы расскажем о баге VMware vSphere Client, для чего откроем вкладку редактирования пользователя и посмотрим на его свойства:

Такую картину мы увидим в том числе и тогда, когда пользователь VMware ESXi был создан автоматически, например, при использовании функций AutoDeploy и Host Profiles. Не очень понятно, почему это пользователю при создании по дефолту гарантируются права на доступ к консоли ESXi, а вот в списке групп, где он состоит, наблюдается пустота.

Все на самом деле просто: в vSphere 5.1 поменялся подход к безопасности, а вот сделать обновление vSphere Client забыли, так как сейчас идет переход на vSphere Web Client, и никому нет дела до толстого клиента. Соответственно, аспекты этого бага таковы:

• Галка "Grant shell access to this user" ни на что не влияет. Важно только, назначена ли роль Administrator пользователю (что позволит ему войти в консоль сервера).
• Поле Group пустое, так как ESXi больше не использует информацию из /etc/groups, а использует свою модель пользователей и групп:

• Поэтому вновь создаваемый пользователь с галкой "Grant shell access to this user" не сможет соединиться по SSH и зайти в консоль, то есть это баг UI:

Иногда возникает потребность правильно выключить виртуальные машины VMware vSphere в определенной последовательности, чтобы не нарушить консистентность данных и приложений. Требуется это при различных сценариях обслуживания инфраструктуры, переездах оборудования, подготовке к отключениям электричества и т.п. Ну а потом, соответственно, эти ВМ нужно включить - и тоже в нужной последовательности.

Специально для таких случаев Graham French допилил скрипт на PowerShell / PowerCLI, который автоматизирует процессы Startup / Shutdown для виртуальных машин на ESXi. Грэхам подошел к задаче научно - он разделил все ВМ на 5 слоев, отражающих очередность выключения машин:

• Phase 1 - веб-серверы, балансировщики нагрузки, принт-серверы - то есть некритичные машины и машины на краю периметра датацентра.
• Phase 2 - серверы приложений и другие серверы, являющиеся фронтэнд-звеном в архитектуре многокомпонентных приложений.
• Phase 3 - серверы баз данных и кластеризованные серверы.
• Phase 4 - NAS-серверы и файловые серверы.
• Phase 5 - сервисы обеспечения инфраструктуры: Active Directory, DNS, DHCP, виртуальные модули (Virtual Appliances).

Соответственно, правильной схемой выключения виртуальных машин является последовательность Phase 1 -> Phase 5. Скрипт принимает на вход имена виртуальных машин в CSV-файлах, а также умеет выключать/включать и физические серверы:

Для включения машин используем обратную последовательность Phase 5 -> Phase 1:

Сам скрипт Startup / Shutdown и примеры CSV-файлов можно скачать по этой ссылке.

Недавно Duncan Epping опубликовал интересную статью о параметре Mem.MinFreePct, который есть в настройках сервера VMware ESXi из состава vSphere. По-сути, этот параметр определяет, какое количество оперативной памяти VMkernel должен держать свободным на хосте, чтобы всегда были доступные ресурсы под нужды системы, и хост не вывалился в PSOD.

В VMware vSphere 4.1 параметр Mem.MinFreePct составлял 6% и его можно было изменять с помощью следующей команды:

vsish -e set /sched/freeMemoryState/minFreePct <Percentage>

Например, вот так можно было установить Mem.MinFreePct в значение 2%:

vsish -e set /sched/freeMemoryState/minFreePct 2

Этак команда, кстати, не требует перезагрузки, но зато после перезагрузки значение Mem.MinFreePct не сохраняется. Поэтому данную команду, если требуется, нужно занести в /etc/rc.local (подробнее в KB 1033687).

Параметр этот очень важный, поскольку от него зависят пороги использования различных механизмов оптимизации памяти хоста ESXi. При этом, если памяти на хосте много (например, десятки гигабайт), то держать постоянно 6% свободной памяти может быть для кого-то расточительством. Поэтому, начиная с VMware vSphere 5.0, параметр Mem.MinFreePct является "плавающим" и устанавливается в зависимости от объема физической памяти на хосте ESXi.

Вот какие значения принимает Mem.MinFreePct в зависимости от того, сколько RAM есть на вашем физическом хост-сервере:

А вот какие механизмы оптимизации памяти на хосте работают, если свободной памяти становится все меньше и меньше:

Интересно, конечно, но как-то бесполезно. Зачем загонять хост в такие лимиты? Лучше как минимум процентов 10 всегда держать свободными и своевременно покупать новые серверы.

В прошлом посте мы писали о том, что компания StarWind сделала зомби-анонс восьмой версии своего решения для создания отказоустойчивых хранилищ для виртуальных машин VMware vSphere и Microsoft Hyper-V.

В этом посте мы приведем еще немного забавных картинок и основные посылы восьмой версии продукта.

Во-первых, файловая система LSFS изначально работает с большими блоками данных, что положительно сказывается на сроке службы флеш-накопителей (SSD), на которых размещаются виртуальные машины (это дело недалекого будущего):

Во-вторых, виртуальная среда рождает эффект IO-блендера, когда к системе хранения идут случайные чтения от большого числа ВМ, что создает существенные задержки. Файловая система LSFS преобразовывает small random writes в большие последовательные операции записи, что существенно увеличивает производительность:

Ну и, в-третьих, inline-дедупликация StarWind не создает нагрузку на подсистему хранения и не "крадет" IOPS'ы у продуктивного хранилища:

Скоро появится больше информации. А пока приглашаем на промо-страницу StarWind V8.

Компания VMware опубликовала очередной номер своего технического журнала VMware Technical Journal Summer 2013, в котором разбираются наиболее интересные технические аспекты решений для виртуализации на весьма глубоком уровне (зачастую даже с математическими выкладками). Напомним, что о предыдущем выпуске VMware Technical Journal мы писали вот тут. Как и в прошлом выпуске все статьи доступны онлайн и как PDF (5 МБ).

Темы нового номера:

• Introduction
• Memory Overcommitment in the ESX Server
• Redefining ESXi IO Multipathing in the Flash Era
• Methodology for Performance Analysis of VMware vSphere under Tier-1 Applications
• vATM: VMware vSphere Adaptive Task Management
• An Anomaly Event Correlation Engine: Identifying Root Causes, Bottlenecks, and Black Swans in IT Environments
• Simplifying Virtualization Management with Graph Databases
• Autonomous Resource Sharing for Multi-Threaded Workloads in Virtualized Servers

Мне понравились "Redefining ESXi IO Multipathing in the Flash Era" и "Methodology for Performance Analysis of VMware vSphere under Tier-1 Applications".

На днях компания VMware объявила о начале публичного бета-тестирования своего нового средства для анализа логов VMware vSphere - VMware vCenter Log Insight 1.0. Продукт поставляется в виде виртуального модуля (Virtual Appliance), который развертывается как обычный OVF-пакет, после чего становится доступен сбор и анализ данных syslog с серверов VMware ESXi 4.1, 5.0, 5.1, а также vCenter Server Appliance и других источников. Кроме того, Log Insight может быть интегрирован с vCenter Operations Manager.

Возможности VMware vCenter Log Insight 1.0:

• High Performance Ingestion - Log Insight принимает данные от syslog или через API на скорости до 1000 Мбит/с на один виртуальный модуль
• Near Real-Time Search - входящие данные доступны для поиска почти сразу и могут быть агрегированы с историческими данными в одном большом логе.
• Aggregation - данные группируются методом похожим на GROUP-BY в реляционных БД.
• Runtime Field Extraction - Log Insight может доставать данные из сырого лога средствами регулярных выражений.
• Dashboards - администраторы могут создавать свои дэшборды из запросов к базе логов.
• Scalability - инфраструктуру Log Insight можно наращивать за счет добавления дополнительных серверов.

Полезная документация по продукту:

• VMware vCenter Log Insight 1.0 Beta Getting Started Guide
• VMware vCenter Log Insight 1.0 Beta Virtual Appliance Sizing
• Log Insight 1.0 Beta Installation and Administration Guide
• Log Insight 1.0 Beta User's Guide

Скачать бета-версию VMware vCenter Log Insight 1.0 можно по этой ссылке.

Когда-то давно мы публиковали заметки о P2V-миграции физических серверов в виртуальные машины на платформе тогда еще VMware ESX Server (а также рассказывали о необходимых действиях после миграции). С тех пор многое изменилось, вышел VMware vCenter Converter Standalone 5.0, процесс миграции стал проще и стабильнее, а также накопилось пару моментов, о которых можно рассказать. Кроме того, появилась отличная статья на эту тему. Итак, есть 3 типа P2V-миграции...

Многие знают, что VMware vSphere версий 5.0 (начиная с Update 1) и 5.1 в полном объеме поддерживают Windows Server 2012 и Windows 8 в гостевых ОС виртуальных машин. Однако, еще далеко не во всех компаниях установлены последние версии гипервизора VMware ESXi - особенно в крупных организациях еще много где используют версию ESX/ESXi 4.x.

При попытке установить Windows Server 2012 и Windows 8 в виртуальной машине ESX/ESXi 4.x, выбрав в качестве гостевой ОС Microsoft Windows Server 2008 R2, администратор получит вот такую ошибку:

Your PC ran into a problem that it couldn't handle, and now it needs to restart

You can search for the error online: HAL_INITIALIZATION_FAILED

Решить эту проблему очень просто:

• Создаем новую ВМ в vSphere Client.
• В качестве типа гостевой ОС (Guest Operating System) выбираем Microsoft Windows Server 2008 R2 (64-bit).
• Скачиваем вот этот файл bios и кладем его в папку с виртуальной машиной

Далее в конфигурационный файл .vmx в папке с ВМ добавляем следующие строчки:

bios440.filename = "bios.440.rom"
mce.enable = TRUE
cpuid.hypervisor.v0 = FALSE
vmGenCounter.enable = FALSE

Теперь можно устанавливать и использовать Windows 8 и Windows Server 2012 в виртуальной машине на VMware ESXi 4.1.

Второй этап - это установка свежих VMware Tools в таких виртуальных машинах. Об этом мы писали в статье "Как обновить VMware Tools старых хост-серверов, не обновляя хостов VMware vSphere / ESXi".

Те из вас, кто испытывает потребность в балансировке соединений в виртуальной инфраструктуре VMware vSphere, а также функциях безопасности, могут обратить свое внимание на продукт от Loadbalancer.org, поставляемый в виде виртуального модуля (Virtual Appliance).

Основные возможности продукта:

• Средства высокой доступности компонентов
• Полнофункциональная балансировка на уровнях 4/7
• Поддержка виртуальных и физических серверов
• Веб-консоль управления
• Функции HTTP Cookie Persistence
• Функции RDP Cookie Persistence
• Поддержка SSL Offloading
• Поддержка 802.1q VLAN
• Группировка интерфейсов 802.3ad Bonding
• Широкие возможности анализа пакетов
• Поддержка IPv6
• Поддержка SIP с функциями Call-ID Persistence

Виртуальный модуль может работать в трех режимах:

• Direct Routing (DR) - режим прямой маршрутизации
• Network Address Translation (NAT) - режим трансляции сетевых адресов
• Source Network Address Translation (SNAT) - режим трансляции исходного сетевого адреса

Более подробно с продуктом от Loadbalancer.org можно ознакомиться в следующих документах:

• Quick start guide
• Quick start guide VA
• Full admin guide
• Enterprise VA Product Sheet
• VMware View 5.0 Guide

Не так давно мы писали про средства управления питанием хост-серверов ESXi, которые имеются в VMware vSphere 5.1. Там мы рассматривали такую политику как Balanced - она разработана для того, чтобы максимально использовать переключения между состояниями P-states процессора в целях экономии энергии. Она обладает слегка большей инерционностью, чем обычное максимальное использование ресурсов процессора (High performance), но почти не влияет на производительность. Эта политика выставлена по умолчанию для серверов VMware ESXi 5.0 и более поздней версии.

Недавно на блоге VROOM! компании VMware появилось интересное исследование, посвященное механизмам управления питанием серверов ESXi. Как и обычно, в качестве инструмента для тестирования и создания нагрузки на хосты ESXi использовался продукт VMware VMmark, который и был разработан для тестирования производительности решений VMware на различных аппаратных платформах.

Сравнивались три подхода к управлению питанием:

• Политика Performance - максимальное использование процессора за счет его поддержки в наивысшем P-state состоянии все время (то есть, по-сути политика энергосбережения отключена). При этом используются только 2 C-state состояния: С0 (running) и C1 (halted). Соответственно, данный режим выдает максимальную производительность, не имеет инерционности и потребляет больше всего энергии. Управляется эта политика BIOS'ом сервера.
• Политика Balanced - сбалансированное энергопотребление за счет переключения между P-states. Эта политика управляется хостом ESXi.
• Политика BIOS Balanced - функции энергосбережения, которые управляются на уровне BIOS сервера (например, Dell Active Power Controller).

Для тестирования производительности использовался стандартный подход VMmark, который предполагает создание возрастающих уровней нагрузки на хост-серверы (Tiles).

С точки зрения аппаратной платформы, использовалась следующая конфигурация:

• 4 сервера Dell PowerEdge R620
• CPUs (на сервер): один Eight-Core Intel® Xeon® E5-2665 @ 2.4 GHz, Hyper-Threading enabled
• Memory (на сервер): 96GB DDR3 ECC @ 1067 MHz
• Host Bus Adapter: два QLogic QLE2562, Dual Port 8Gb Fibre Channel to PCI Express
• Network Controller: один Intel Gigabit Quad Port I350 Adapter
• Версия гипервизора: VMware ESXi 5.1.0
• Дисковый массив: EMC VNX5700
• 62 флеш-диска (SSDs), RAID 0, сгруппированных в 3 x 8 SSD LUNs, 7 x 5 SSD LUNs и 1 x 3 SSD LUN
• Средства управления: VMware vCenter Server 5.1.0
• Версия VMmark: 2.5
• Power Meters: три устройства Yokogawa WT210

Итак, что получилось. График очков VMmark (чем выше столбики - тем лучше). Результаты нормализованы к BIOS Balanced на уровне Tile 1:

Как мы видим, худшие результаты показывает политика BIOS Balanced.

Теперь посмотрим на результаты тестов по новой методике VMmark 2.5, позволяющей измерять производительность сервера на киловатт питания:

Как мы видим, политика Performance показывает самые низкие результаты (это логично, так как энергии потребляется много, а столько мощности не всегда требуется процессору), политика ESXi Balanced показывает результат на 3% лучше, а вот политика BIOS Balanced - аж на 20% лучше.

Кстати, интересны измерения потребления мощности при простаивающем процессоре:

• Политика Performance потребляет 128 Вт
• ESXi Balanced - 85 Вт
• BIOS Balanced - тоже около 85 Вт

Казалось бы, почему тогда не использовать BIOS Balanced? А вот почему - при тестировании нагрузки приложений политика BIOS Balanced выдает огромные задержки (latency), негативно влияющие на производительность:

Таким образом, если снова вернуться к первому графику с обобщенными результатами, можно понять, что политика ESXi Balanced является наиболее оптимальной с точки зрения энергопотребления/производительности, поэтому-то она и установлена по умолчанию.

29 мая компания StarWind, выпускающая решение номер 1 для создания отказоустойчивых хранилищ iSCSI для ВМ VMware vSphere и Microsoft Hyper-V, проводит бесплатный вебинар "The Top-Quality Shared Storage for VMware".

Вебинар пройдет 29 мая, в 16-00 по московскому времени.

На мероприятии, которое проводит опытный инженер StarWind Макс Крафт, вы узнаете о том, как:

• Управлять растущими потребностями в хранилищах и сетевых ресурсах
• Уменьшить расходы на ИТ-инфраструктуру на 50%
• Улучшить эффективность существующей среды виртуализации

Зарегистрироваться.

Не так давно мы писали о том, что VMware планирует создать свое облако на базе VMware vSphere, называемое vCloud Hybrid Service, и сдавать из него виртуальные машины в аренду по модели IaaS. Напомним, что сейчас облачная экосистема компании VMware представляет собой партнерскую модель (см. программу VSPP) распространения услуг IaaS через сеть сервис-провайдеров по всему миру (напомним, что в России этим занимается компания ИТ-ГРАД). Суть этой схемы сводится к тому, что партнеры VMware, использующие ее ПО для предоставления услуг по сдаче в аренду виртуальных машин своим клиентам, платят ей...
Таги: VMware, Hybrid, Cloud, vCloud, VSPP, Cloud Computing